Катастрофический пожар, произошедший во вторник на прошлой неделе в сингапурском дата-центре Digital Realty, всё ещё осложняет работу облачных операторов. The Register, в частности, сообщает, что к полноценной работе не может приступить облачный регион Alibaba Cloud — в компании ждут, когда просохнет оборудование, чтобы попытаться восстановить данные.

Согласно данным Alibaba Cloud, миграция и восстановление данных в повреждённом ЦОД SIN11 идёт по плану. Работа облачных сервисов постепенно восстанавливается. В компании подчеркнули, что часть оборудования по-прежнему находится в небезопасной и заблокированной зоне дата-центра. О возможном затоплении ряда помещений пожарные предупредили оператора заранее. Некоторое оборудование требует тщательной просушки до того, как можно будет попытаться запустить его без дополнительной угрозы целостности данных. На их восстановление уйдёт некоторое время. Из-за сбоя Alibaba Cloud, как выяснилось, пострадали и различные сервис-провайдеры, включая Lazada и ByteDance.

Источник изображения: Adam Wilson/unsplash.com

Причиной пожара, вероятно, стало возгорание Li-Ion элементов ИБП. Сообщалось, что для тушения и охлаждения АКБ пришлось задействовать пожарного робота, поскольку аккумуляторы могли повторно воспламениться, взорваться и выделить токсичные вещества. Ситуация усугублялась тем, что АКБ находились на третьем этаже четырёхэтажного ЦОД. Хотя современные нормы Сингапура предписывают размещать ИБП на первом этаже, объект Digital Realty ввели в эксплуатацию задолго до принятия этих норм. Это единственный из трёх кампусов Digital Realty в Сингапуре, созданный на основе уже имеющейся инфраструктуры. Ещё два были возведены с нуля.

Источник изображения: Daan Mooij / Unsplash

Как сообщает Alibaba Cloud, к вечеру злополучного вторника всё ещё звучала пожарная сигнализация, а некоторое сетевое оборудование функционировало со сбоями из-за высоких температур. Клиентов предупредили о возможных сбоях во всех зонах доступности данного облачного региона. В среду большинство облачных сервисов восстановили работу в результате переноса части нагрузок. В пятницу было объявлено, что часть оборудования находится «в стадии безопасной миграции». В субботу уже проводилась подготовка к установке оборудования, включая его сушку.

От грандиозного пожара в своём время пострадал ЦОД OVHCloud в Страсбурге, долгое время оператор разбирался многочисленными претензиями пользователей. В самом Сингапуре после крупного сбоя дата-центра Equinix в прошлом году власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Оператор дата-центров Digital Realty намерен реорганизовать систему питания своих ЦОД в Ирландии таким образом, чтобы та могла отдавать электричество в энергосети во время пиковых нагрузок. The Register сообщает, что это поможет сгладить нагрузки на энергосистемы, снизить выбросы углекислого газа и обеспечить операторам дополнительную выручку.

Один из крупнейших в мире операторов дата-центров работает с энергораспределяющей компанией Enel X, которая позволит сохранить стабильность сетей с помощью систем бесперебойного питания ЦОД. Это, например, даст возможность снизить зависимость от электростанций, работающих на ископаемом топливе в часы максимальных нагрузок. Digital Realty уже ранее реализовала подобный проект с помощью Enel X в Сиднее.

Только вокруг Дублина оператор ЦОД имеет девять объектов. Он утверждает, что аккумуляторы их ИБП прошли самые строгие проверки и одобрены для снабжения резервной энергией электросетей. Для начала в программе будут участвовать источники бесперебойного питания мощностью 6 МВт. Соглашение с Enel X позволит Digital Realty использовать по-новому использовать энергетические активы дата-центров, в числе прочего позволяя подключать к сети больше возобновляемых источниках энергии.

Источник изображения: israel palacio/unsplash.com

Ирландия уже получает 30–40 % энергии из возобновляемых источников, что имеет и негативные стороны. В частности, неизбежны перепады качества энергоснабжения из-за нестабильности работы ветряков и других подобных источников. В Digital Realty подчёркивают, что в таких ситуациях пригодится энергия ИБП дата-центров. В этом месяце оператор EirGrid объявил о снижении минимального числа больших генераторов на ископаемом топливе, которые должны работать в энергосети страны в любое время — с пяти до четырёх, в ответ на растущую доступность возобновляемой энергии.

Впрочем, Digital Realty не первой представляет подобную схему в Ирландии. Microsoft уже анонсировала внедрение интерактивной ИБП-технологии в собственном ЦОД в Дублине в середине 2022 года, она сотрудничает с Eaton и той же Enel X. Последняя служит агрегатором для объединения коммерческих источников энергии в «виртуальные электростанции». В прошлом году Microsoft объявила, что проект увенчался успехом и заявила о намерении масштабировать его на другие ЦОД по всей планете.

Энергия для ЦОД стала весьма обсуждаемой темой в последнее время, эксперты предупреждают, что рост ёмкости дата-центров на фоне взрывного спроса на ИИ-сервисы может привести к тому, что только в США ЦОД будет потребляться к 2030 году 20–25 % всей электроэнергии, а в Ирландии к 2026 году — около трети. Это уже привело к рационированию вычислительных ресурсов AWS.

Американский оператор дата-центров Digital Realty, по сообщению ресурса Datacenter Dynamics, намерен использовать гидрированное растительное масло (HVO) вместо дизельного топлива в своих резервных генераторах на некоторых площадках в США. Это позволит снизить выбросы вредных газов в атмосферу.

HVO производится из растительных масел и отработанных жиров. Это на 90 % углеродно-нейтральный возобновляемый вид топлива с повышенным сроком хранения без окисления. Важно, что HVO можно применять в дизель-генераторах без внесения модификаций в силовую установку. Кроме того, HVO можно смешивать с дизельным топливом.

Сообщается, что Digital Realty начнёт использовать HVO в резервных генераторах на площадках PDX12 в Хиллсборо (штат Орегон), а также SC1 в Санта-Кларе и LAX12 в Эль-Сегундо (обе — Калифорния). По оценкам компании, инициатива позволит сократить выбросы СО₂ приблизительно на 12 тыс. т.

Источник изображения: Digital Realty

Впервые Digital Realty начала применять HVO в дата-центрах в Париже (Франция) в 2022 году. Позднее инициатива была распространена на Мадрид (Испания) и другие европейские ЦОД. На сегодняшний день Digital Realty использует HVO более чем на 20 объектах по всей Европе, в том числе в Амстердаме. С учётом США данный вид топлива будет применяться в дизель-генераторах на семи рынках присутствия компании.

Аналогичные проекты реализуют и другие операторы дата-центров и облачных платформ. К примеру, около года назад к переводу дизель-генераторов на HVO в европейских ЦОД приступила AWS. Вместе с тем американская корпорация Kohler Power Systems объявила, что выпускаемые ею дизельные генераторы могут работать на HVO без каких-либо доработок.

Отмечается, что Digital Realty вместе с Schneider Electric реализует ещё одну инициативу, направленную на снижение вредного влияния на экологию. Она предусматривает продление срока службы критически важных систем на площадке PAR6 в Париже. Речь идёт о части электрооборудования, распределительных устройствах и ИБП. Планируется повторное использование отдельных компонентов и внедрение новых программ переработки и восстановления. Ожидается, что в течение следующих 3–5 лет проект поможет Digital Realty дополнительно снизить выбросы углерода, одновременно увеличив жизненный цикл оборудования, включая батареи ИБП.

Восемь операторов ЦОД сформировали группу Asia-Pacific Data Centre Association (APDCA) для защиты интересов и продвижения законов, поддерживающих рост участников группы в Азиатско-Тихоокеанском регионе (APAC). Как сообщает Datacenter Knowledge, в число основателей вошли AirTrunk, Digital Realty, Equinix, Global Switch, NTT Global Data Centers, Princeton Digital Group, ST Telemedia Global Data Centres и Vantage Data Centers.

По данным Synergy Research Group, именно эти компании занимают 40 % рынка ЦОД в регионе APAC без учёта материкового Китая. В APDCA подчёркивают, что роль ЦОД и связанной инфраструктуры в регионе ещё никогда не была так велика на фоне роста местных экономик и повсеместного распространения 5G, генеративного ИИ, Интернета вещей и других технологий. APDCA будет управляться советом директоров, назначенных основателями организации. Скоро состоится собрание для выбора председателя и определения повестки ассоциации.

Как сообщает Structure Research, рынок колокейшн-сервисов в регионе в прошлом году достиг ёмкости 10 223 МВт, это около 40 % от мирового. Ожидается, что к 2028 году этот показатель достигнет 19 069 МВт, среднегодовой прирост в ближайшие пять лет составит 13,3 %. Азия уже стала центром роста для бизнеса, связанного с ЦОД. Инвестиции в дата-центры стимулируют и обновление местной государственной инфраструктуры, а регион привлекает всё больше квалифицированных IT-специалистов.

Источник изображения: zephylwer0/pixabay.com

Как заявляют в европейской European Data Centre Association (EUDCA), в организации с интересом следят за развитием APDCA. Хотя структуры действуют в различных политических и правовых средах, многие из решаемых вопросов по своей природе носят общемировой характер — от проблем строительства ЦОД будущего до вопросов достижения приемлемого уровня экоустойчивости. В дальнейшем планируется координировать действия APDCA и EUDCA по ряду вопросов.

Компания Blackstone Inc. заключила с Digital Realty Trust Inc. соглашение о создании совместного предприятия (СП). Как сообщает Bloomberg, это позволит компаниям расширить присутствие на рынке ЦОД — партнёры намерены создать четыре кампуса во Франкфурте, Париже и Западной Вирджинии.

Оценочная стоимость совместных проектов за несколько лет реализации составит порядка $7 млрд. Blackstone достанется 80 % СП, а Digital Realty получит 20-% долю и будет управлять рутинными процессами в новых дата-центрах. СП будет сформировано в два этапа в I половине 2024 года, после получения одобрения регуляторов и других разрешений. По данным Datacenter Dynamics, будет построено 10 ЦОД общей ёмкостью 500 МВт.

Источник изображения: Blackstone

В Blackstone заявили, что спрос на новые ЦОД подогревается «гонкой вооружений» в сфере искусственного интеллекта (ИИ). Подобные ЦОД обычно рассчитаны на поддержку облачных сервисов и часто требуют огромного количества электроэнергии. По словам президента Blackstone Джона Грея (Jon Gray), сейчас наблюдается рост спроса, случающийся «один раз в поколение», драйвером которого стали повсеместное внедрение облачных технологий и революция в сфере ИИ.

Blackstone является инвестором в «альтернативные» активы, отличные от обычных ценных бумаг и высоколиквидной недвижимости — например, в дата-центры, которые пока ещё не стали мейнстримом на рынке инвестиций. В 2021 году компания приобрела оператора QTS Realty Trust (включая долги в объёме $10 млрд) и вложила $8 млрд в развитие ЦОД. В конце октября фонд Blackstone Real Estate Income Trust, заявил, что 8 % вложений из его портфеля связаны с дата-центрами, которые стали самым доходным активом в уходящем году.

В июле Digital Realty анонсировала создание совместного предприятия с инвестиционной компанией TPG Real Estate, вложив в партнёрство стоимостью $1,5 млрд три уже действующих в Северной Вирджинии дата-центра. Также она имеет совместный бизнес стоимостью $200 млн с Realty Income Corporation. В Японии компания имеет СП на $1,8 млрд с Mitsubishi и аналогичное партнёрство с Brookfield Infrastructure в Индии, в том и другом случае строятся новые ЦОД.

Сингапурское подразделение оператора Digital Realty применило электролиз для очистки воды в дата-центре SIN10. Как сообщает DataCenter Dynamics, специальные DCI-модули сингапурской компании Innovative Polymers позволяют ЦОД экономить более 1 тыс. м³ ежемесячно. Системы DCI (DeCaIon) используют ток для генерации ионов, что ведёт к выпадению в осадок соединений кальция и магния. Считается, что такая система значительно экономичнее, чем очистка с помощью химикатов.

DCI-модули уже довольно широко используются, например, в системах кондиционирования медучреждений. Что касается ЦОД, в них подобная система применяется впервые. DCI-модуль, позволяющий трижды прогнать воду по контурам до её сброса в канализацию, стоит около $25 тыс., потребляет порядка 700 кВт·ч в год и способен обслуживать охлаждающую инфраструктуру ЦОД мощностью примерно 1–1,3 МВт. Важным преимуществом системы является и то, что она избавляет контуры охлаждения от появления в них отложений солей — в результате улучшается теплообмен и энергосбережение.

Фото: Innovative Polymers

Для SIN10 требуется примерно 20–25 модулей, так что внедрение технологии только в этом дата-центре стоит порядка $500 тыс. Впрочем, проект частично финансируется из фондов правительства Сингапура. В Digital Realty заявляют, что DCI-система позволяет экономить до 1,24 млн л ежемесячно. А в целом компании удалось снизить потребление воды с 2020 года на 7 %. Впрочем, теперь перед ней стоит сложная задача сохранения водного баланса, поскольку она готовит площадки для инфраструктуры генеративного ИИ, которая намного более требовательна и к электропитанию, и к охлаждению.

Источник изображения: Innovative Polymers

Проблема водопотребления ЦОД имеет критическое значение. Ещё в 2021 году сообщалось, что они потребляют сотни миллионов кубометров питьевой воды, но сколько именно — никто достоверно не знает. Операторы активно работают над сокращением потребления этого ценного ресурса. Например, в том же году сообщалось, что Microsoft объявила о намерении использовать дождевую воду в Нидерландах из-за протестов местных жителей, а буквально в прошлом месяце лондонская Thames Water потребовала от местных ЦОД сократить расход воды.

Но проблемам с водоснабжением сопутствуют и проблемы водоотведения. Так, Microsoft в одном из последних ЦОД была вынуждена поменять подход к охлаждению из-за того, что местная канализация попросту не справляется с потоками сточных вод от дата-центров. А несколько лет назад компанию почти что вынудили построить выделенную станцию очистки сточных вод её ЦОД. Тогда же Microsoft вместе с рядом других гиперскейлеров пообещала стать «водно-положительной» к 2030 году.

Американский оператор дата-центров Digital Realty запустил новые колокейшн-услуги в 28 регионах по всему миру. Теперь допускается размещение нагрузок плотностью до 70 кВт на стойку. Таким образом, могут решаться сложные задачи, связанные с применением алгоритмов ИИ и машинного обучения. Одной из первых площадок, получившей новые возможности, стал парижский кампус оператора. Аналогичные предложения готовят и другие крупные операторы ЦОД.

Изображение: Digital Realty

Говорится, что высокая плотность размещения оборудования достигается благодаря применению инновационной технологии гибридного воздушно-жидкостного охлаждения (Air-Assisted Liquid Cooling, AALC). Какие именно поставщики отвечают за развёртывание данной системы, не уточняется. Сервис, как утверждается, позволит клиентам открыть новые возможности для развития бизнеса, быстро развернуть высокопроизводительную инфраструктуру, не беспокоясь об охлаждении и питании, и достичь оптимальной производительности для ИИ-сервисов.

Американский оператор дата-центров Digital Realty сообщил о том, что его новый ЦОД KIX13 в Осаке (Япония) получил сертификацию NVIDIA DGX H100-Ready. Это означает, что на площадке могут использоваться системы DGX H100 для работы с ресурсоёмкими приложениями ИИ.

Источник изображения: NVIDIA

Сертификация выполнена в рамках программы NVIDIA DGX-Ready Data Center. Площадка KIX13 была открыта в феврале нынешнего года. Дата-центр имеет общую площадь приблизительно 23 тыс. м², а полезная мощность составляет 21 МВт. Коэффициент энергоэффективности PUE равен 1,4.

«Digital Realty понимает, какое влияние ИИ окажет на то, как предприятия будут проводить цифровую трансформацию в ближайшие годы. Однако бизнес-прорывы, ставшие возможными благодаря ИИ, могут быть реализованы только в том случае, если компании смогут интегрировать эту технологию в свою деятельность, и именно в этом мы им поможем», — сказал Крис Шарп (Chris Sharp), технический директор Digital Realty.